El castillo de Calonge, actualmente en ruinas, se encuentran en lo alto de una colina, situado junto a la iglesia de la Santa Fe . Las primeras noticias que tenemos de esta fortificación datan del año 1010, cuando el obispo de Vic, Arnulf, murió en este castillo, como consecuencia de las heridas sufridas durante la expedición catalana a Córdoba. Fue una posesión de los vizcondes de Cardona, aunque los castellanos eran de la familia Segarra.

A principios del siglo XII el castillo aún estaba en mano de los Cardona, pero a finales de siglo pasó, sin que se sepa cuándo y cómo, a manos de los Torroja. Sin embargo, en 1217 el castillo volvió a manos de los Cardona a través de la boda de Agnès, de la familia Torroja, con Ramon Folc, del linaje de los Cardona.

El castillo está totalmente en ruinas y en algunos puntos incluso se peligroso pasar. La estancia mejor conservada es una gran sala rectangular, cubierta con una bóveda de cañón y construida, muy probablemente, en el siglo XII.

En el muro de poniente hay una puerta de medio punto, que en el exterior presentaba, hasta no hace muchos años, un dintel, actualmente en el suelo.

En el muro norte hay otra puerta, en este caso con un arco irregular hecho a base de losas. Al atravesarla encontramos una escalera que desciende, hasta que los escombros no nos permite avanzar.

No podemos aportar imágenes de la escalera, ni más cercanas de la puerta, por que la bóveda de la estancia presenta un aspecto amenazador. Algunos sillares han empezado a desprenderse y hacen peligrar su integridad.

La sala esta iluminada por dos ventanas aspilleradas que se abren en el muro este.

Al norte de esta estancia encontramos una cisterna de unos dos metros de diámetro, hoy cubierta por la vegetación.

En el sector más occidental de la colina se levantan los restos más antiguos de la fortificación, actualmente acompañados por unas modernas antenas. Se trata de los pocos restos de una torre circular.

Sólo quedan en pie unas pocas hiladas de sillares, que año tras año se van haciendo más escasas. Cuesta imaginarse que estas "cuatro piedras" fueron una torre en el siglo XI.

Entre la sala rectangular y la torre se alzan algunos muros de otras edificaciones, mucho más tardías y que han sufrido numerosas reformas a lo largo de los siglos.